Parameter Exploration for RLVR via Variational Learning
基于变分学习的 RLVR 参数探索
🧭 LLM 强化学习 · 参数空间探索
INSAIT, Sofia University "St. Kliment Ohridski" · Technical University of Darmstadt · National Research Center for Applied Cybersecurity ATHENE
提出 3PO 方法族，通过采样多个策略参数实现参数空间探索，相比 GRPO 在相近 FLOPs 下持续提升 LLM 推理性能
📌 工作参考价值（4 点）
- 在基于 GRPO 的 RLVR 流程中（如训练生成式推荐/query 改写/对话 Agent），可引入参数空间探索：对 LoRA 权重采样多个扰动副本生成 rollouts，与温度采样互补，能缓解奖励信号稀疏导致的训练停滞。
- 借鉴 3PO 的分组奖励估计：将多个参数样本生成的 rollouts 分组计算优势，可减少零优势组，提升稀疏反馈（如点击/转化）下的训练信号利用率。
- 该方法在 near-identical FLOPs 下提升性能，适合业务场景有限的训练预算；可在现有 LoRA + RL 框架中低成本实现参数扰动，无需增加推理开销。
- 需注意：论文在数学/代码任务验证，迁移到推荐/搜索时需调整扰动强度与采样频率，并验证奖励函数（如延迟转化）下是否仍稳定。